52. 数据框拼接

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库

price_JantoMar = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet1",header=0,index_col=0)#从外部导入Sheet1的5只股票信息链接为https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx

print(price_JantoMar.head()) #查看前五行数据

print(price_JantoMar.tail()) #查看后五行数据

price_AprtoJui = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet2",header=0,index_col=0)##从外部导入Sheet2的5只股票信息链接为https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx

print(price_AprtoJui.head()) #查看前五行数据

print(price_AprtoJui.tail()) #查看后五行数据

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库

# 从Excel文件读取数据存入price_JantoMar
price_JantoMar = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet1",header=0,index_col=0)

# 从Excel文件读取数据存入price_AprtoJui
price_AprtoJui = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet2",header=0,index_col=0)

price_JantoJul = pd.concat([price_JantoMar,price_AprtoJui],axis=0) #使用concat函数按行拼接

print(price_JantoJul.head())  #前五行数据

print(price_JantoJul.tail())  #后五行数据

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库

price_3stocks = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet1",header=0,index_col=0) #导入数据Sheet1 链接https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx

print(price_3stocks.head()) #查看前五行数据

print(price_3stocks.tail()) #查看后五行数据

price_2stocks = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet2",header=0,index_col=0) #导入数据Sheet1 链接https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx

print(price_2stocks.head()) #查看前五行数据

print(price_2stocks.tail()) #查看后五行数据 

# ⚠️ 平台原始代码 - 请原样输入至教学平台（注释除外），平台才会判定答案正确
import pandas as pd  # 导入Pandas数据分析库

# 从Excel文件读取数据存入price_3stocks
price_3stocks = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet1",header=0,index_col=0)

# 从Excel文件读取数据存入price_2stocks
price_2stocks = pd.read_excel("https://huoran.oss-cn-shenzhen.aliyuncs.com/20220821/xlsx/1561220500528062464.xlsx",sheet_name="Sheet2",header=0,index_col=0)

price_5stocks_concat = pd.concat([price_3stocks,price_2stocks],axis=1) #使用concat函数按列拼接

print(price_5stocks_concat.head()) #查看前五行数据

price_5stocks_merge = pd.merge(left=price_3stocks,right=price_2stocks,left_index=True,right_index=True) #使用merge函数按列拼接

print(price_5stocks_merge.head()) #查看前五行数据

price_5stocks_join = price_3stocks.join(price_2stocks,on="日期") #用join函数按列拼接

print(price_5stocks_join.head()) #查看前五行数据

import pandas as pd
import numpy as np

# 贵州茅台(600519.SH)收益率数据
stock_a_returns = pd.DataFrame({
    '日期': pd.date_range('2024-01-01', periods=3),
    '股票代码': ['600519.SH'] * 3,
    '收益率': [0.02, -0.01, 0.03]
})

# 五粮液(000858.SZ)收益率数据
stock_b_returns = pd.DataFrame({
    '日期': pd.date_range('2024-01-04', periods=3),
    '股票代码': ['000858.SZ'] * 3,
    '收益率': [0.01, 0.02, -0.02]
})

# 垂直拼接，ignore_index=True 重置索引
all_returns = pd.concat(
    [stock_a_returns, stock_b_returns], ignore_index=True
)

print('股票A数据:')
print(stock_a_returns)
print('\n股票B数据:')
print(stock_b_returns)
print('\n拼接结果:')
print(all_returns)

# keys 参数为每个数据框分配标识键，创建多级索引
multi_index_returns = pd.concat(
    [stock_a_returns, stock_b_returns],
    keys=['股票A', '股票B'],
    names=['数据源', '行号']
)

print('多级索引结构:')
print(multi_index_returns)

print('\n索引信息:')
print(multi_index_returns.index)

# 选择特定来源的数据
print('\n仅选择股票A的数据:')
print(multi_index_returns.loc['股票A'])

# 股票基本信息
stock_info = pd.DataFrame({
    '股票代码': ['600519.SH', '000858.SZ', '600036.SH'],
    '股票名称': ['贵州茅台', '五粮液', '招商银行'],
    '行业': ['食品饮料', '食品饮料', '金融']
})

# 股票财务数据（注意：第3只是中国平安，不是招商银行）
financial_data = pd.DataFrame({
    '股票代码': ['600519.SH', '000858.SZ', '601318.SH'],
    'PE': [35.2, 25.8, 10.5],
    'PB': [12.5, 8.3, 1.2]
})

# 内连接：只保留两边都有的股票
inner_result = pd.merge(
    stock_info, financial_data, on='股票代码', how='inner'
)

print('股票基本信息:')
print(stock_info)
print('\n财务数据:')
print(financial_data)
print('\n内连接结果(只保留两边都有的股票):')
print(inner_result)

# 左连接：保留左表所有行
left_result = pd.merge(
    stock_info, financial_data, on='股票代码', how='left'
)

# 右连接：保留右表所有行
right_result = pd.merge(
    stock_info, financial_data, on='股票代码', how='right'
)

# 外连接：保留所有行
outer_result = pd.merge(
    stock_info, financial_data, on='股票代码', how='outer'
)

print('左连接结果(保留左边所有股票):')
print(left_result)
print('\n右连接结果(保留右边所有股票):')
print(right_result)
print('\n外连接结果(保留所有股票):')
print(outer_result)

# 收益率数据，股票代码为索引
returns = pd.DataFrame({
    '日收益率': [0.02, 0.01, -0.01]
}, index=['600519.SH', '000858.SZ', '600036.SH'])

# 波动率数据，股票代码为索引（第3只不同）
volatility = pd.DataFrame({
    '年化波动率': [0.25, 0.30, 0.20]
}, index=['600519.SH', '000858.SZ', '601318.SH'])

# 基于索引左连接
joined_data = returns.join(volatility, how='left')

print('收益率数据:')
print(returns)
print('\n波动率数据:')
print(volatility)
print('\n基于索引的左连接结果:')
print(joined_data)

import pandas as pd

# 数据源1：股票基本信息（主表）
stock_basic = pd.DataFrame({
    '股票代码': ['600519.SH', '000858.SZ', '600036.SH', '601318.SH'],
    '股票名称': ['贵州茅台', '五粮液', '招商银行', '中国平安'],
    '上市日期': ['2001-08-27', '1998-04-27', '2002-04-09', '2007-03-01'],
    '行业': ['食品饮料', '食品饮料', '金融', '金融']
})

# 数据源2：日行情数据（缺少中国平安）
daily_quote = pd.DataFrame({
    '股票代码': ['600519.SH', '000858.SZ', '600036.SH'],
    '收盘价': [1850.00, 158.50, 32.80],
    '涨跌幅': [1.5, -0.8, 0.5]
})

# 数据源3：财务指标（缺少招商银行）
financial_metrics = pd.DataFrame({
    '股票代码': ['600519.SH', '000858.SZ', '601318.SH'],
    'ROE': [25.8, 22.3, 15.6],
    '负债率': [18.5, 30.2, 92.5]
})

# 步骤1：基本信息 + 行情数据（左连接）
step1 = pd.merge(
    stock_basic, daily_quote,
    on='股票代码', how='left', indicator=True
)
print('步骤1:基本信息 + 行情数据')
print(step1)

# 步骤2：继续加入财务指标
final_data = pd.merge(
    step1, financial_metrics,
    on='股票代码', how='left', suffixes=('', '_财务')
)
print('\n最终整合结果:')
print(final_data)

# 数据完整性分析
print('\n缺失值统计:')
print(final_data.isna().sum())

import pandas as pd
import numpy as np
import time

n_stocks = 5000
n_dates = 1000

# 生成大规模测试数据（500万行行情 + 5000行财务）
quotes = pd.DataFrame({
    '股票代码': np.repeat(
        [f'{i:06d}.SH' for i in range(n_stocks)], n_dates
    ),
    '日期': list(pd.date_range('2020-01-01', periods=n_dates)) * n_stocks,
    '收盘价': np.random.uniform(10, 100, n_stocks * n_dates)
})

financials = pd.DataFrame({
    '股票代码': [f'{i:06d}.SH' for i in range(n_stocks)],
    'ROE': np.random.uniform(5, 30, n_stocks),
    '市值': np.random.uniform(50, 5000, n_stocks)
})

# 方法1：未优化
start_time = time.time()
result_slow = pd.merge(quotes, financials, on='股票代码')
slow_time = time.time() - start_time

# 方法2：将键值转为 category 类型
quotes_opt = quotes.copy()
quotes_opt['股票代码'] = quotes_opt['股票代码'].astype('category')
financials_opt = financials.copy()
financials_opt['股票代码'] = financials_opt['股票代码'].astype('category')

start_time = time.time()
result_fast = pd.merge(quotes_opt, financials_opt, on='股票代码')
fast_time = time.time() - start_time

print(f'未优化合并时间: {slow_time:.2f}秒')
print(f'优化后合并时间: {fast_time:.2f}秒')
print(f'性能提升: {slow_time/fast_time:.1f}倍')

# 行情数据
quotes = pd.DataFrame({
    '股票代码': ['600519.SH', '600519.SH', '000858.SZ'],
    '日期': ['2024-01-01', '2024-01-02', '2024-01-01'],
    '收盘价': [1850.0, 1870.0, 158.5]
})

# 财务数据
financals = pd.DataFrame({
    '股票代码': ['600519.SH', '600519.SH', '000858.SZ'],
    '日期': ['2024-01-01', '2024-01-02', '2024-01-01'],
    'PE': [35.2, 35.8, 25.8]
})

# 基于股票代码 + 日期两个键进行合并
merged = pd.merge(
    quotes, financals,
    on=['股票代码', '日期'], how='inner'
)

print('多键连接结果:')
print(merged)